Иногда интересно в целях аудита посмотреть, какие команды были выполнены на хосте VMware ESXi 5.0, а что интереснее - кто именно их выполнял. Для этого на хосте ESXi есть специальный лог-файл, хранящий введенные команды:

/var/log/shell.log

В этот лог на хосте можно также заглянуть и через веб-браузер по адресу: https://ESXiHostnameOrIP/host/shell.log

Посмотрим его содержимое:

Отлично - историю команд мы получили, но кто из пользователей их выполнял? Для этого нам понадобится запомнить число в квадратных скобках после слова "shell" - это так называемый World ID для сессии (например, 2938482). Обратите также внимание на присутствующий для каждой команды timestamp.

Далее нам понадобиться открыть следующий лог-файл, хранящий данные об аутентификации пользователей:

/var/log/auth.log

В этот лог на хосте можно также заглянуть и через веб-браузер по адресу: https://ESXiHostnameOrIP/host/auth.log

Там мы найдем такие строчки, если использовался прямой логин в ESXi Shell:

2011-08-29T18:01:00Z login[2938482]: root login on 'char/tty/1'

Если использовался логин по SSH в интерактивном режиме, мы увидим вот такое:

2011-08-29T18:01:00Z sshd[12345]: Connection from 10.11.12.13 port 2605
2011-08-29T18:01:00Z sshd[12345]: Accepted keyboard-interactive/pam for root from10.11.12.13 port 2605 ssh2
2011-08-29T18:01:00Z sshd[2938482]: Session opened for 'root' on /dev/char/pty/t0
2011-08-29T18:01:00Z sshd[12345]: Session closed for 'root' on /dev/char/pty/t0
...
2011-08-29T18:35:05Z sshd[12345]: Session closed for 'root' 2

Если использовался логин по SSH с использованием публичного ключа, то мы увидим следующее:

2011-08-29T18:01:00Z sshd[12345]: Connection from 10.11.12.13 port 2605
2011-08-29T18:01:00Z sshd[12345]: Accepted publickey for root from 10.11.12.13 port 2605ssh2
2011-08-29T18:01:00Z sshd[2938482]: Session opened for 'root' on /dev/char/pty/t0
2011-08-29T18:01:00Z sshd[12345]: Session closed for 'root' on /dev/char/pty/t0
...
2011-08-29T18:35:05Z sshd[12345]: Session closed for 'root' 2

Теперь, я думаю понятно, что World ID сессии, который мы нашли для пользователя открывшего сессию с ESXi Shell и который указан в квадратных скобках строчек лога auth.log - тот же самый, что и в логе shell.log. Таким образом, в логе shell можно всегда понимать, кто и когда выполнял данные команды, зная World ID сессии пользователя из auth.log и timestamp.

У Михаила Козлова, бизнес-эксперта по защите информации с помощью решений компании Код Безопасности, появилась интересная презентация на Slideshare - "Бизнес-кейс: защита Персональных Данных при помощи решений компании "Код Безопасности":

Используя собственную методику расчета репутационных потерь компании (для примера взята достаточно большая публичная компания), возникших вследствие утечки 100 000 записей с персональными данными клиентов (ПДн), Михаил оценивает максимально возможную стоимость репутационных потерь (из-за оттока клиентов и упущенной прибыли). Несмотря на то, что в методике некоторые показатели взяты эмпирически, выглядит она достаточно убедительной.

Основная идея презентации - если потеря ПДн приведет к оттоку клиентов и репутационным потерям, то необходимо использовать соответствующие решения по защите ПДн, которые обойдутся значительно дешевле суммы возможных финансовых потерь.

В этой связи, конечно же, не можем не отметить решения компании Код Безопасности, которые предназначены для защиты персональных данных, а именно продукт vGate R2, который защищает ПДн, обрабатывающиеся в виртуальных машинах на платформах VMware vSphere. Делается это средствами политик, с помощью которых происходит автоматическая настройка безопаной конфигурации хостов и виртуальных машин в соответствии со стандартами и лучшими практиками, а также за счет встроенных механизмов защиты от несанкционированного доступа. vGate R2 имеет все необходимые сертификаты ФСТЭК (включая сертификаты на vSphere 5.0).

Также на тему защиты ПДн в виртуальных инфраструктурах рекомендуем прочесть следующие наши заметки:

• Защита персональных данных, обрабатываемых в виртуальной инфраструктуре VMware vSphere, с помощью vGate R2
• Защита персональных данных при использовании технологий виртуализации в банках с помощью vGate R2
• Статьи о продукте vGate R2 от Кода Безопасности - защита персональных данных и соответствие требованиям PCI DSS

Что еще вы можете почитать на тему защиты ПДн в виртуальной инфраструктуре с помощью vGate R2 (документы Кода Безопасности):

• Выполнение требований законодательства по защите информации государственными компаниями при использовании технологий виртуализации
• Перенос информационных систем персональных данных в виртуальную инфраструктуру
• Выполнение требований СТО БР ИББС в части защиты персональных данных при использовании технологий виртуализации

Ну и, в довершение, презентация о ПДн и vGate R2:

Напомним, что версия vGate R2 с поддержкой vSphere 5 уже поступила в продажу, а бесплатную пробную версию продукта можно скачать тут.

Ведущие вендоры решений для виртуализации настольных ПК предприятия (а их всего два - Citrix и VMware) постоянно ищут пути оптимизации своих продуктов для получения максимальной производительности виртуальных ПК во всех аспектах: вычислительные ресурсы, сети и хранилища. Это неудивительно, так как, зачастую, именно по этому показателю пользователи выбирают подходящее им решения. Мы уже много писали о технологии VMware Storage Accelerator, которая есть в решении VMware View 5.1 - она использует оперативную память хост-серверов ESXi для кэширования блоков виртуальных машин.

Но надо помнить, что еще раньше компания Citrix тоже разработала технологию оптимизации хранилищ виртуальных ПК - IntelliCache для продуктов Citrix XenServer и XenDesktop, которая, правда, работает несколько по-иному: блоки данных виртуальных машин кэшируются не в оперативной памяти, а на локальном хранилище сервера XenServer.

Технология Citrix IntelliCache кэширует блоки данных виртуальных ПК на локальном диске (само собой, лучше использовать SSD-накопители) при записи данных на общее хранилище, а когда они запрашиваются с последнего виртуальными машинами, то просматривается локальный кэш и отдаются кэшированные блоки виртуальной машины напрямую с локального хранилища. Соответственно, если используется высокопроизводительное локальное хранилище - блоки виртуальным машинам будут отдаваться существенно быстрее, что позволит, например, сгладить последствия событий Boot Storm или Antivirus Storm. При выключении или перезагрузке виртуальной машины - локальный кэш очищается.

Для каждой виртуальной машины могут быть созданы 2 типа файлов на локальном хранилище в целях обеспечения работы IntelliCache - несколько файлов write cache и один файл shared read cache (файлы типа <uuid>.vhdcache на локальном репозитории). Здесь надо отметить, что при работе Citrix XenDesktop есть 2 режима работы виртуальных ПК с кэшем IntelliCache:

• Shared Desktop Mode - когда опция on-boot выставлена в значение reset, а флаг allow-caching - в значение true. В этом случае отличия виртуального ПК от базового образа (дельта) будет писаться только на локальный диск, минуя общее хранилище. Это позволит использовать комбинацию чтения с общего хранилища (базовый образ) и чтения/записки на локальном хранилище сервера XenServer, что увеличивает производительность как чтения, так и записи данных. Однако, разумеется, для таких виртуальных машин нельзя использовать такие технологии как XenMotion и High Availablity, так как часть данных ВМ хранится только локально. Это лучше использовать для неперсистентных десктопов и дисков, состояние которых не сохраняется при выключении или перезагрузке (pooled desktops).
• Private Desktop Mode - когда опция on-boot выставлена в значение persist, а флаг allow-caching - в значение true. В этом случае данные пишутся одновременно в кэш и на общее хранилище, а кэш позволяет оптимизировать производительность только при чтении данных. При этом для виртуальной машины работают все технологии, требующие общего хранилища. Такую технику лучше использовать, когда используются постоянные виртуальные ПК с сохранением данных при выключении (dedicated desktops).

Технология IntelliCache дает существенный выигрыш в производительности в инфраструктуре VDI (тесты Login VSI):

Для использования IntelliCache при установке XenServer потребуется создать локальный storage repository (SR) с поддержкой данной технологии, которая, напомним, появилась в Citrix XenServer 5.6 SP1 (поэтому для более ранних версий продукта эта технология работать не будет). При установке нужно не забыть отметить галку "Enable thin provisioning (Optimized storage for XenDesktop)".

Со стороны инфраструктуры XenDesktop вам понадобится XenDesktop 5 service pack 1 или более поздней версии, где поддержка технологии IntelliCache включается одной галкой в мастере добавления хост-сервера:

Так как локальные репозитории предшествующих версий XenServer построены на базе LVM, а SR с поддержкой IntelliCache используют EXT3, конвертировать старые локальные репозитории в новые получится только с полной потерей данных на репозитории. Чтобы сделать это, нужно выполнить следующую последовательность команд:

localsr='xe sr-list type=lvm host=<hostname> params=uuid --minimal'
echo localsr=$localsr
pbd='xe pbd-list sr-uuid=$localsr params=uuid --minimal'
echo pbd=$pbd
xe pbd-unplug uuid=$pbd
xe pbd-destroy uuid=$pbd
xe sr-forget uuid=$localsr
sed -i "s/'lvm'/'ext'/" /etc/firstboot.d/data/default-storage.conf
rm -f /etc/firstboot.d/state/10-prepare-storage
rm -f /etc/firstboot.d/state/15-set-default-storage
service firstboot start
xe sr-list type=ext

Далее на созданном репозитории включаем поддержку кэширования IntelliCache:

xe host-disable host=<hostname>
localsr='xe sr-list type=ext host=<hostname> params=uuid --minimal'
xe host-enable-local-storage-caching host=<hostname> sr-uuid=$localsr
xe host-enable host=<hostname>

Более подробную информацию о Citrix IntelliCache можно получить из следующих источников:

• XenServer 5.6 SP2 and XenDesktop 5 SP1 now fully support IntelliCache
• Digging in to Citrix XenServer 5.6 FP's new “IntelliCache” feature. Hint: It’s a BIG deal for desktops!
• How to Use IntelliCache with XenDesktop
• XenServer 5.6 Service Pack 2 Installation Guide
• XenDesktop 5 with IntelliCache cuts VDI storage costs in half
• XenDesktop and local storage + IntelliCache

В первой части статьи о продукте vGate R2, предназначенном для защиты виртуальной инфраструктуры VMware vSphere, мы рассмотрели механизмы того, как с помощью него можно защитить инфраструктуру сервис-провайдера от внешних уроз в сфере информационной безопасности. В этой части статьи мы рассмотрим не менее важный аспект защиты инфраструктуры виртуализации - защиту от внутренних (инсайдерских) угроз в датацентрах средствами сертифицированного ФСТЭК решения vGate R2.

В середине марта этого года компания VMware выпустила технологическое превью продукта VMware Workstation 2012, в котором впервые была анонсирована возомжность WSX - доступ к консоли виртуальной машины через браузер, в том числе, и с мобильных устройств, таких как Apple iPad под управлением iOS 5 и выше. На днях обновился это технологический релиз (VMware Workstation 2012 TP June), в котором появилось несколько интересных возможностей.

Напомним, что WSX Server, который есть в Workstation 2012, работает на базе технологии HTML 5 (с поддержкой WebSockets), что подразумевает отсутствие необходимости иметь какие-либо дополнительные компоненты, кроме веб-браузера, чтобы получить доступ к консоли виртуальной машины и средствами управления ей. В качестве веб-браузеров, той или иной степени совместимых с HTML 5, можно использовать Chrome 17, Firefox 10, IE 10, Safari 5 на ПК с Mac OS и iOS 5 для iPad. Отметим также, что эта возможность на данном этапе является "очень экспериментальной" (например, известно, что картинка иногда "зависает" и нужно повторно переподключиться).

В частности, все неплохо работает на New iPad с экраном Retina:

Добавим также, что компонент WSX Server есть как под Windows, так и под Linux, и доступен для загрузки вместе с основным дистрибутивом продукта.

Среди новых возможностей VMware Workstation 2012 TP June:

• Поддержка гостевых и хостовых ОС Windows 8 и Windows Server 2012
  
• Поддержка Ubuntu 12.04
• Улучшения движка графического рендеринга и общие улучшения производительности
  
• Поддержка OpenGL для гостевых ОС Linux
  
• Restricted Virtual Machines - возможность задать дополнительный пароль для зашифрованных ВМ, чтобы предотвратить изменение их конфигурации со стороны неавторизованных пользователей (например, ВМ для студентов)
• Возможность загрузки виртуальных машин на хосты VMware vSphere и обратно с них на Workstation
• Возможность запуска "вложенных" виртуальных машин с ESX/ESXi
  
• Запуска сервера Hyper-V в качестве гостевой ОС (эта возможность официально не поддерживается и никогда не будет)
• Счетчики производительности виртуальных машин для профилирования приложений из гостевой ОС
• Remote connections - существенные улучшения производительности при соединении с консолью ВМ на VMware vSphere или к машинам Workstation с помощью VNC-клиента
• Disk Cleanup - новая возможность почистить место в папке с файлами виртуальной машины
• UI Changes - интерфейс стал более современным и удобным
• Существенно доработан сервер WSX, о котором написано выше
• Поддержка голосового движка через WSX на Mac OS и iOS при работе с консолью ВМ Windows

Более подробно о VMware Workstation 2012 TP June можно прочитать на странице ведущего разработчика, а также на официальной странице обновленного продукта. Скачать VMware Workstation 2012 TP June вместе с компонентами WSX можно по этой ссылке.

Также обновился технологический релиз продукта VMware Fusion 2012 TP June. Новые возможности Fusion 2012:

• Поддержка Windows 8 в виртуальных машинах, а также возможность импорта физических ПК в ВМ
• Установлка в режиме "Boot Camp"
• Улучшенная стабильность при работе с приложениями для Windows 7 и Windows 8
• Запуск приложений Windows 7 и Windows 8 в режиме Unity
• Поддержка ВМ с гостевой ОС Linux и 3D desktops, включая Ubuntu 12.04 LTS и последние релизы OpenSUSE
• Улушчение производительности и надежности операций suspend, resume, pause, restart
• Импорт машин в OVF-формате
• Новый прототип библиотеки виртуальных машин (virtual machine library)
• Новый механизм работы с окнами VMware Fusion (настройки, снапшоты и т.п.)

Скачать VMware Fusion 2012 TP June можно по этой ссылке, дополнительная информация о новых возможностях доступна тут.

На блогах компании Gartner появился очередной "магический квандрант", описывающий состояние дел на рынке платформ виртуализации x86-архитектуры по состоянию на июнь 2012 года:

Напомним, что магический квадрант Gartner используется для оценки поставщиков какого-либо сегмента рынка информационных технологий, где Gartner использует две линейные прогрессивные экспертные шкалы:

• полнота видения (completeness of vision)
• способность реализации (ability to execute)

Каждый поставщик, попавший в рамки рассмотрения для исследуемого сегмента рынка, оценивается по этим двум критериям. При этом, полнота видения откладывается на оси абсцисс, способность реализации — на оси ординат. Каждый поставщик, таким образом, оказывается в одном из четырёх квадрантов плоскости, называемых:

• Лидеры (leaders) — поставщики с положительными оценками как по полноте видения, так и по способности реализации.
• Претенденты (сhallengers) — поставщики с положительными оценками только по способности реализации.
• Провидцы (visionaries) — поставщики с положительными оценками только по полноте видения.
• Нишевые игроки (niche players) — поставщики с отрицательными оценками по обоим критериям.

В этой же публикации рассматриваются сильные и слабые стороны вендоров рынка виртуализации, таких как VMware, Citrix, Microsoft, Oracle, Parallels и Red Hat. В исследовании анализировались аспекты платформ виртуализации (серверных, а также "контейнеров" - виртуализации уровня ОС от Parallels) в связке с простейшими функциями по администрированию виртуальной инфраструктуры (высокоуровневые задачи не рассматривались).

Для тех, кому интересно сравнение с прошлым годом, наши коллеги сделали хорошую гифку:

По этой гифке хорошо видно, что компания Citrix сдала позиции в плане законченности и ясности своей стратегии развития продуктов (в частности, XenServer), а Microsoft приблизилась к VMware в обоих аспектах: как в плане заявленной стратегии, так и в плане ее реализации. Очевидно, что произошло это благодаря существенной доработке серверной платформы Microsoft Windows Server 2012 и новому поколению гипервизора Hyper-V 3.0, который в некоторых вещах даже превосходит VMware vSphere.

К сильным сторонам VMware компания Gartner отнесла продуманную стратегию развития продуктов, технологическое лидерство и инновации, высокий уровень удовлетворенности пользователей продуктами, а также очень обширную базу инсталляций и увеличившееся число провайдеров облачных услуг (VSPP). Сильными сторонами Microsoft Gartner признает существующую экосистему Windows-инфраструктур, большое количество пользователей и администраторов Windows-based систем (особенно крупных компаний Windows-only), невысокие цены при неплохой функциональности для компаний среднего размера, а также финансовую состоятельность самой корпорации (а значит и хорошие маркетинговые ресурсы).

К слабым сторонам Oracle отнесена их сфокусированность на рынке своих же продуктов, Citrix не очень понятно разивает свое партнерство с Microsoft в сегменте серверной виртуализации, Parallels не очень хвалят за архитектуру решения, а Red Hat ругают за плохой маркетинг и небольшую экосистему.

Ну а про то, как обстояли дела в 2010 году, написано у нас тут.

Оказывается у компании StarWind Software, выпускающей продукт №1 StarWind iSCSI SAN для создания отказоустойчивых хранилищ под VMware vSphere и Microsoft Hyper-V, среди прочих бесплатных утилит, есть продукт StarWind Tape Redirector.

Этот продукт пригодится вам тогда, когда вы перенесли виртуальную машину в среду Microsoft Hyper-V, при этом для самой ВМ требуется резервное копирование файлов гостевой ОС напрямую на ленту. Как известно средствами гипервизора пробросить ленточную библиотеку в виртуальную машину не получится, поэтому можно в Parent Partition сервера Hyper-V поставить StarWind Tape Redirector и уже с самого родительского раздела отправлять резервные копии (например, Symantec Backup Exec 2012) на ленты по протоколам Fibre Channel, SAS или SCSI.

После установки продукта, в консоли StarWind Management Console у вас появится пошаговый мастер, с помощью которого можно настроить такую схему резервного копирования.

Скачать StarWind Tape Redirector можно по этой ссылке.

Как мы уже писали в одной из статей, в VMware vSphere 5 при работе виртуальных машин с хранилищами могут возникать 2 похожих по признакам ситуации:

APD (All Paths Down) - когда хост-сервер ESXi не может получить доступа к устройству ни по одному из путей, а также устройство не дает кодов ответа на SCSI-команды. При этом хост не знает, в течение какого времени будет сохраняться такая ситуация. Типичный пример - отказ FC-коммутаторов в фабрике или выход из строя устройства хранения. В этом случае хост ESXi будет периодически пытаться обратиться к устройству (команды чтения параметров диска) через демон hostd и восстановить пути. В этом случае демон hostd будет постоянно блокироваться, что будет негативно влиять на производительность. Этот статус считается временным, так как устройство хранения или фабрика могут снова начать работать, и работа с устройством возобновится.

В логе /var/log/vmkernel.log ситуация APD выглядит подобным образом:

2011-07-30T14:47:41.187Z cpu1:2049)WARNING: NMP: nmp_IssueCommandToDevice:2954:I/O could not be issued to device "naa.60a98000572d54724a34642d71325763" due to Not found
2011-07-30T14:47:41.187Z cpu1:2049)WARNING: NMP: nmp_DeviceRetryCommand:133:Device "naa.60a98000572d54724a34642d71325763": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.
2011-07-30T14:47:41.187Z cpu1:2049)WARNING: NMP: nmp_DeviceStartLoop:721:NMP Device "naa.60a98000572d54724a34642d71325763" is blocked. Not starting I/O from device.
2011-07-30T14:47:41.361Z cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:599:Retry world failover device "naa.60a98000572d54724a34642d71325763" - issuing command 0x4124007ba7c0
2011-07-30T14:47:41.361Z cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:658:Retry world failover device "naa.60a98000572d54724a34642d71325763" - failed to issue command due to Not found (APD), try again...
2011-07-30T14:47:41.361Z cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:708:Logical device "naa.60a98000572d54724a34642d71325763": awaiting fast path state update...
2011-07-30T14:47:42.361Z cpu0:2642)WARNING: NMP: nmpDeviceAttemptFailover:599:Retry world failover device "naa.60a98000572d54724a34642d71325763" - issuing command 0x4124007ba7c0
2011-07-30T14:47:42.361Z cpu0:2642)WARNING: NMP: nmpDeviceAttemptFailover:658:Retry world failover device "naa.60a98000572d54724a34642d71325763" - failed to issue command due to Not found (APD), try again...
2011-07-30T14:47:42.361Z cpu0:2642)WARNING: NMP: nmpDeviceAttemptFailover:708:Logical device "naa.60a98000572d54724a34642d71325763": awaiting fast path state update...

Ключевые слова здесь: retry, awaiting. Когда вы перезапустите management agents, то получите такую вот ошибку:

Not all VMFS volumes were updated; the error encountered was 'No connection'.
Errors:
Rescan complete, however some dead paths were not removed because they were in use by the system. Please use the 'storage core device world list' command to see the VMkernel worlds still using these paths.
Error while scanning interfaces, unable to continue. Error was Not all VMFS volumes were updated; the error encountered was 'No connection'.

В этом случае надо искать проблему в фабрике SAN или на массиве.

PDL (Permanent Device Loss) - когда хост-серверу ESXi удается понять, что устройство не только недоступно по всем имеющимся путям, но и удалено совсем, либо сломалось. Определяется это, в частности, по коду ответа для SCSI-команд, например, вот такому: 5h / ASC=25h / ASCQ=0 (ILLEGAL REQUEST / LOGICAL UNIT NOT SUPPORTED) - то есть такого устройства на массиве больше нет (понятно, что в случае APD по причине свича мы такого ответа не получим). Этот статус считается постоянным, так как массив ответил, что устройства больше нет.

А вообще есть вот такая табличка для SCSI sense codes, которые вызывают PDL:

В случае статуса PDL гипервизор в ответ на запрос I/O от виртуальной машины выдает ответ VMK_PERM_DEV_LOSS и не блокирует демон hostd, что, соответственно, не влияет на производительность. Отметим, что как в случае APD, так и в случае PDL, виртуальная машина не знает, что там произошло с хранилищем, и продолжает пытаться выполнять команды ввода-вывода.

Такое разделение статусов в vSphere 5 позволило решить множество проблем, например, в случае PDL хост-серверу больше не нужно постоянно пытаться восстановить пути, а пользователь может удалить сломавшееся устройство с помощью операций detach и unmount в интерфейсе vSphere Client (в случае так называемого "Unplanned PDL"):

В логе /var/log/vmkernel.log ситуация PDL (в случае Unplanned PDL) выглядит подобным образом:

2011-08-09T10:43:26.857Z cpu2:853571)VMW_SATP_ALUA: satp_alua_issueCommandOnPath:661: Path "vmhba3:C0:T0:L0" (PERM LOSS) command 0xa3 failed with status Device is permanently unavailable. H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x25 0x0.
2011-08-09T10:43:26.857Z cpu2:853571)VMW_SATP_ALUA: satp_alua_issueCommandOnPath:661: Path "vmhba4:C0:T0:L0" (PERM LOSS) command 0xa3 failed with status Device is permanently unavailable. H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x25 0x0.
2011-08-09T10:43:26.857Z cpu2:853571)WARNING: vmw_psp_rr: psp_rrSelectPathToActivate:972:Could not select path for device "naa.60a98000572d54724a34642d71325763".
2011-08-09T10:43:26.857Z cpu2:853571)WARNING: ScsiDevice: 1223: Device :naa.60a98000572d54724a34642d71325763 has been removed or is permanently inaccessible.
2011-08-09T10:43:26.857Z cpu3:2132)ScsiDeviceIO: 2288: Cmd(0x4124403c1fc0) 0x9e, CmdSN 0xec86 to dev "naa.60a98000572d54724a34642d71325763" failed H:0x8 D:0x0 P:0x0
2011-08-09T10:43:26.858Z cpu3:2132)WARNING: NMP: nmp_DeviceStartLoop:721:NMP Device "naa.60a98000572d54724a34642d71325763" is blocked. Not starting I/O from device.
2011-08-09T10:43:26.858Z cpu2:2127)ScsiDeviceIO: 2316: Cmd(0x4124403c1fc0) 0x25, CmdSN 0xecab to dev "naa.60a98000572d54724a34642d71325763" failed H:0x1 D:0x0 P:0x0 Possible sense data: 0x5 0x25 0x0.
2011-08-09T10:43:26.858Z cpu2:854568)WARNING: ScsiDeviceIO: 7330: READ CAPACITY on device "naa.60a98000572d54724a34642d71325763" from Plugin "NMP" failed. I/O error
2011-08-09T10:43:26.858Z cpu2:854568)ScsiDevice: 1238: Permanently inaccessible device :naa.60a98000572d54724a34642d71325763 has no more open connections. It is now safe to unmount datastores (if any) and delete the device.
2011-08-09T10:43:26.859Z cpu3:854577)WARNING: NMP: nmpDeviceAttemptFailover:562:Retry world restore device "naa.60a98000572d54724a34642d71325763" - no more commands to retry

Ключевое слово здесь - permanently.

Становится понятно, что в случае, когда устройство хранения (LUN) реально сломалось или удалено сознательно, лучше всего избежать ситуации APD и попасть в статус PDL. Сделать это удается хост-серверу ESXi не всегда - по прежнему в vSphere 5.0 Update 1 это обрабатывается в ограниченном количестве случаев, но в vSphere 5.1 обещают существенно доработать этот механизм.

Также есть Advanced Settings на хосте ESXi, которые позволяют управлять дальнейшей судьбой машины, которая оказалась жертвой ситуации PDL. В частности есть 2 следующие расширенные настройки (начиная с vSphere 5.0 Update 1) - первая в категории "Disk", а вторая в расширенных настройках кластера HA:

disk.terminateVMonPDLDefault - если эта настройка включена (True), то в ситуации PDL для устройства, где находится ВМ, эта машина будет выключена. Настройка задается на уровне хоста ESXi и требует его перезагрузки для ее применения.

das.maskCleanShutdownEnabled - это настройка, будучи включенной (True), позволяет механизму VMware HA приступить к восстановлению виртуальной машины. Соответственно, если она выключена, то HA проигнорирует выключение виртуальной машины в случае ее "убийства" при включенной первой настройке.

Рекомендуется, чтобы обе эти настройки были включены.

Все описанные выше механизмы могут очень пригодиться при построении и обработке сбоев в "растянутых кластерах" VMware HA, построенных между географически разнесенными датацентрами. Об этом всем детально написано в документе "VMware vSphere Metro Storage Cluster Case Study".

После недавнего выпуска обновленной версии своих рекомендаций по обеспечению информационной безопасности VMware vSphere 5 Security Hardening, компания VMware обновила и свою бесплатную утилиту для проверки на соответствие данным требованиям - vSphere 5.0 Compliance Checker.

Основные особенности нового релиза vSphere 5.0 Compliance Checker:

• Сканирование конфигураций хост-серверов на безопасность идет для 5 хостов одновременно (на одном vCenter)
• Обследование строится на базе практик Hardening Guidelines, которые являются частью контента vCenter Configuration Manager (vCM)
• Результат представляет собой таблицу соответствия (или несоответствия) пунктам Security Hardening с детальным описанием каждого пункта

Пример вывода vSphere 5.0 Compliance Checker:

Следующим релизом компания VMware обещает выпустить сканер на соответствие требованиям HIPAA.

Напомним, что после того, как вы с помощью данного сканера поняли, что нужно настроить хост-серверы в соответствие с лучшими практиками ИБ в виртуальных средах, необходимо воспользоваться продуктом vGate R2, который делает это не только на базе зарубежных наборов политик, но и отраслевых российских стандартов, таких как, например, требования Банка России.

В конце прошлой недели компания VMware в рамках проекта Labs выпустила очень интересный продукт - VMware ThinApp Factory, который предоставляется бесплатно всем пользователям с действующей лицензией на VMware ThinApp (входит в издание VMware View Premier). ThinApp Factory позволяет производить масштабное создание виртуализованных приложений в контейнерах ThinApp в корпоративных окружениях, насчитывающих сотни приложений, из единой консоли. С помощью ThinApp Factory массовая упаковка приложений в контейнеры превращается в упорядоченный рабочий процесс, приводящий в итоге к публикации приложений в сервисе федерации VMware Horizon Application Manager (на картинке он еще называется ThinApp Store):

VMware ThinApp Factory поставляется в виде виртуального модуля (Virtual Appliance), построенного на базе ОС Debian Linux с веб-интерфейсом управления на базе сервера TomCat. В качестве источников для создания виртуализованных приложений могут быть использованы файловые хранилища с инсталляторами приложений, импортированные вручную дистрибутивы, а также источники "RSS-style app-installer feeds" в формате JSON (JavaScript Object Notation).

Упаковка приложений производится в потоковом режиме с одновременным исполнением нескольких задач:

Используя источники приложений в формате JSON, можно отслеживать появление новых версий приложения и тут же паковать их:

Приложения автоматически скачиваются из источников, указанных администратором, и складываются в репозиторий:

VMware ThinApp Factory имеет также возможность "рецептов" (Recipes) - наборов шагов настройки приложений (они берутся из уже установленных приложений или пакетов ThinApp), которые сохраняются в базе и могут быть применены к создаваемым пакетам виртуализованных приложений. Источником рецепта может быть пользователь или рекомендации VMware.

Само собой, поддерживается и импорт существующих проектов ThinApp:

В ThinApp Factory можно создать Virtual Machine Work Pool - пул виртуальных машин, в которых будет происходить создание виртуализованных приложений, в соответствии с их требованиями к версии операционной системы (напомним о необходимости наличий лицензий для них):

Наряду с функциями автоматического создания пакетов, в ThinApp Factiry администратор может самостоятельно "записывать" проект и создавать пакет:

Для работы виртуального модуля ThinApp Factory потребуется серверная платформа VMware vSphere 4.1 или более поздней версии, либо настольная платформа VMware Workstation 8.x или более поздняя. На тему функциональности и архитектуры ThinApp Factory есть также неплохая презентация.

Основная страница продукта VMware ThinApp Factory находится тут, документация доступна по этой ссылке.

Для тех, кому интересно сделать загрузочный ISO-образ с установленным в нем клиентом VMware View Client, появился сайт TinyCore Builder for VMware View, позволяющий сгенерировать ISO на базе минималистичного дистрибутива Tiny Core Linux, в котором можно настроить как параметры самой ОС, так и параметры клиента:

Дальше эту исошку можно подцепить к виртуальной машине и загрузиться с нее (чтобы не ставить, например, клиент в свою основную ОС), а можно пролить ее на флешку, чтобы загружать с нее рабочую станцию. Для этих целей можно использовать утилиту UNetbootin:

Такую флешку, например, может использовать администратор, чтобы всегда иметь возможность запустить клиента VMware View на любом компьютере.

Продолжаем вас знакомить с продуктом номер 1 - vGate R2, предназначенным для защиты виртуальных сред VMware vSphere. Напомним, что он позволяет производить автоматическую настройку конфигурации безопасности хост-серверов VMware ESX / ESXi средствами политик, защищать инфраструктуру от несанционированного доступа, а также имеет все необходимые сертификаты ФСТЭК (включая сертификаты на vSphere 5.0).

Не так давно мы уже писали о том, что в целях обеспечения отказоустойчивости в инфраструктуре vGate R2 можно сделать резервный сервер авторизации, который возьмет на себя функции решения в случае отказа основного сервера. Однако, помимо традиционной отказоустойчивости, полезно делать резервное копирование конфигурации, например, на случай ее случайной порчи или совершения некорректных настроек. Также резервное копирование конфигурации сервера авторизации надо обязательно делать перед обновлением продукта на новую версию, чтобы в случае чего не настраивать все параметры защиты заново.

Для этого в vGate R2 есть специальная утилита db-util, которая находится на установочном диске в каталоге \Tools. Сделать резервную копию конфигурации сервера авторизации можно простой командой:

D:\vGate\Tools\db-util.exe -b c:\Backup

После этого нужно убедиться, что в указанном целевом каталоге присутствуют файлы резервной копии. При необходимости восстановления можно воспользоваться командой:

D:\vGate\Tools\db-util.exe -r c:\Backup

Помните, что предварительно нужно остановить все службы vGate, иначе восстановиться не получится. При необходимости вы также можете использовать следующие аргументы:

• -f [--force] – команда восстановления конфигурации -r [--restore] не будет запрашивать подтверждение на операцию;
• -v [--verbose] – операции резервирования и восстановления будут иметь подробный вывод (лучше этот ключ указать).

Если по каким-либо причинам восстановить конфигурацию vGate R2 не получилось, нужно полностью удалить продукт и PosgreSQL с сервера авторизации, затем поставить его заново и восстановить конфигурацию.

Напомним, что версия vGate R2 с поддержкой vSphere 5 уже поступила в продажу, а бесплатную пробную версию продукта можно скачать тут.

Не все знают, что в качестве распределенного коммутатора с расширенной функциональностью для инфраструктуры VMware vSphere существует не только устройство Cisco Nexus 1000V. Есть также и виртуальное устройство от IBM, которое называется System Networking Distributed Switch 5000V (DVS 5000V).

Это тоже программный распределенный коммутатор, который поставляется в виде 2 компонентов:

• Host Module (он же Data Path Module, DPM) - модуль, поставляемый в zip-формате (Offline Bundle) для хостов VMware ESXi 5.x, позволяющий контролировать состояние виртуальных коммутаторов в пределах хоста.
• Controller - виртуальный модуль (Virtual Appliance) в формате OVA, позволяющий централизованно управлять сетевой инфраструктурой виртуализации через хостовые модули.

vDS от IBM так же, как и Nexus 1000V, интегрирован с VMware vCenter и отображается как обычный Distributed Virtual Switch в интерфейсе vSphere Client. При этом он обладает следующими расширенными возможностями:

• Поддержка технологии Private VLAN для разделения трафика ВМ
• Поддержка списков контроля доступа (ACL) для контроля трафика ВМ
• Поддержка технологий зеркалирования портов (Port Mirroring): локально (SPAN) и удаленной (ERSPAN)
• Поддержка техники мониторинга трафика sFlow (похожа на NetFlow)
• Управление трафиком и статистика на базе стандарта IEEE 802.1Qbg (Edge Virtual Bridging, EVB)
• Поддержка технологий Static Port Aggregation и Dynamic Port Aggregation
• Поддержка логирования Syslog и по SNMP

С точки зрения управления таким распределенным коммутатором DVS 5000V оно построено на базе операционной системы IBM NOS (Network Operating System) и предоставляет следующие интерфейсы:

• Telnet
• SSH
• SNMP
• TACACS+
• RADIUS
• Интерфейс командной строки (CLI)

Более подробно о виртуальном модуле IBM DVS 5000V можно прочитать в даташите, а также в руководстве пользователя.

Компания StarWind, выпускающая продукт номер 1 для создания отказоустойчивых iSCSI-хранилищ серверов VMware vSphere и Microsoft Hyper-V, опять объявила о бесплатной раздаче NFS-лицензий на StarWind iSCSI SAN и StarWind Native SAN for Hyper-V для определенных групп ИТ-профессионалов. В их число входят:

• VMware vExpert
• VMware Certified Instructor (VCI)
• Microsoft Most Valuable Professional (MVP)
• Microsoft Certified Trainer (MCT)
• Citrix Technology Professional (CTP)
• Citrix Certified Instructor (CCI)

Тут вы можете прочитать о возможностях новой версии StarWind iSCSI SAN 5.9. А получить бесплатные NFR-лицензии можно по этой ссылке: http://www.go.starwindsoftware.com/free-nfr-license, либо написав письмо по адресу: roman.shovkun@starwindsoftware.com. Сделать это можно до 30 сентября 2012 года.

Традиционно, бесплатные лицензии раздаются только для непроизводственного использования, т.е. только для целей тестирования, обучения, демонстраций и т.п. Ну и напомним, что если вы не принадлежите к данным группам ИТ-профессионалов, вы всегда можете скачать бесплатную версию StarWind iSCSI SAN Free, где есть следующие возможности:

• Дедупликация блоков виртуальных дисков
• Техники защиты данных: CDP и снапшоты
• Thin Provisioning (диски, растущие по мере наполнения их данными)
• Высокопроизводительное кэширование

Мы уже писали о новых возможностях VMware View 5.1 и, в частности, о технологии Storage Accelerator, которая использует кэш CBRC на чтение на стороне хоста VMware ESXi, чтобы быстрее отдавать блоки виртуальной машине напрямую из памяти, не обращаясь к хранилищу.

Как понятно из названия (Content Based Read Cache), технология Storage Accelerator позволяет оптимизировать ввод-вывод именно тогда, когда в среде виртуальных ПК у нас много операций чтения, которые происходят для множества связанных клонов, развертываемых из реплики View Compser. Таких показательных ситуаций две: Boot Storm (когда пользователи приходят на работу и одновременно включают свои ПК для доступа к своим виртуальным машинам) и Antivirus Storm (когда антивирус начинает шерстить файлы в гостевой ОС).

Интересные картинки по тестированию данной технологии обнаружились в одном из тестов Login VSI, которая проверила, как это работает на хосте со 143-мя связанными клонами виртуальных ПК для размера кэша CBRC размером в 2 ГБ. Работает это замечательно:

Как мы видим, к сотой минуте нагрузка улеглась и операции чтения стали уже не такими однородными. Для постоянных (persistent) дисков (т.е. тех, которые не развертываются из единого базового образа) технология CBRC тоже дает свои плоды:

Ну и здорово помогает нам View Storage Accelerator при антивирусном шторме, когда антивирусники большого количества виртуальных машин одновременно набрасываются на файлы гостевых ОС:

Ну и под конец напомним, что в качестве антивирусных решений в VDI-средах для оптимизации нагрузки нужно использовать решения с поддержкой VMsafe.

Для обладателей устройств iPad или iPhone и, по совместительству, разработчиков сценариев для автоматизации операций в виртуальной инфраструктуре VMware vSphere на App Store есть замечательное справочное руководство по скриптам PowerCLI - vPowerCLI5 Reference.

Справочник включает в себя более 200 командлетов PowerCLI, которые упорядочены в алфавитном порядке, также есть поиск. Для каждого командлета предоставляется описание, взятое из vSphere PowerCLI Reference от VMware.

Обращаем также внимание на плакаты PowerCLI для ESXi Image Builder и Auto Deploy в формате PDF.

Мы уже писали об облачной платформе  Amazon Web Services (AWS), куда включен продукт Amazon Elastic Compute Cloud (EC2) - один из самых известных сервисов IaaS по аренде ресурсов для виртуальных машин. Недавно компания Amazon объявила, что теперь есть не только возможность импорта виртуальных машин на платформах вендоров VMware, Citrix и Microsoft, но и обратный их экспорт в частное облако клиента в соответствующих форматах. Несмотря на то, что технически сделать это весьма просто, компания затягивала с этой возможностью.

Напомним, что импорт виртуальной машины, например с VMware vSphere, можно сделать средствами Amazon EC2 VM Import Connector for VMware vCenter, который является плагином к vSphere Client:

Экспорт инстанса делается средствами командной строки с помощью задачи ec2-create-instance-export-task. Например, в формат VMware можно экспортировать следующим образом:

ec2-create-instance-export-task –e vmware -b NAME-OF-S3-BUCKET INSTANCE-ID

Для экспорта потребуется ID инстанса, имя хранилища (S3 Bucket) и тип выходного образа (vmware, citrix или microsoft).

Мониторинг процесса экспорта выполняется командой ec2-describe-export-tasks, а отмена экспорта - ec2-cancel-export-task. Полный синтаксис операций экспорта экземпляров EC2 в виртуальные машины частного облака можно изучить по этой ссылке.

Мы уже недавно писали о метриках производительности хранилищ в среде VMware vSphere, которые можно получить с помощью команды esxtop. Сегодня мы продолжим развивать эту тему и поговорим об общей производительности дисковых устройств и сайзинге нагрузок виртуальных машин по хранилищам в виртуальной среде.

Как говорит нам вторая статья блога VMware о хранилищах, есть несколько причин, по которым может падать производительность подсистемы ввода-вывода виртуальных машин:

• Неправильный сайзинг хранилищ для задач ВМ, вследствие чего хранилища не выдерживают такого количества операций, и все начинает тормозить. Это самый частый случай.
• Перегрузка очереди ввода-вывода со стороны хост-сервера.
• Достижение предела полосы пропускания между хостом и хранилищем.
• Высокая загрузка CPU хост-сервера.
• Проблемы с драйверами хранилищ на уровне гостевой ОС.
• Некорректно настроенные приложения.

Из всего этого набора причин самой актуальной оказывается, как правило, первая. Это происходит вследствие того, что администраторы очень часто делают сайзинг хранилищ для задач в ВМ, учитывая их требования только к занимаемому пространству, но не учитывая реальных требований систем к вводу выводу. Это верно в Enterprise-среде, когда у вас есть хранилища вроде HDS VSP с практически "несъедаемой" производительностью, но неверно для Low и Midrange массивов в небольших организациях.

Поэтому профилирование нагрузки по хранилищам - одна из основных задач администраторов VMware vSphere. Здесь VMware предлагает описывать модель нагрузки прикладной системы следующими параметрами:

• Размер запроса ввода-вывода (I/O Size)
• Процент обращений на чтение (Read)
• Процент случайных обращений (Random)

Таким образом профиль приложения для "типичной" нагрузки может выглядеть наподобие:

8KB I/O size, 80% Random, 80% Read

Само собой, для каждого приложения типа Exchange или СУБД может быть свой профиль нагрузки, отличающийся от типичного. Размер запроса ввода-вывода (I/O Size) также зависит от специфики приложения, и о том, как регулировать его максимальное значение на уровне гипервизора ESXi, рассказано в KB 1008205. Нужно просто в Advanced Settings выставить значение Disk.DiskMaxIOSize (значение в килобайтах). Некоторые массивы испытывают проблемы с производительностью, когда размер запроса ввода-вывода очень велик, поэтому здесь нужно обратиться к документации производителя массива. Если с помощью указанной настройки ограничить размер запроса ввода-вывода, то они будут разбиваться на маленькие подзапросы, что может привести к увеличению производительности подсистемы ввода-вывода на некоторых системах хранения. По умолчанию установлено максимальное значение в 32 МБ, что является достаточно большим (некоторые массивы начинают испытывать проблемы при запросах более 128 KB, 256 KB или 512KB, в зависимости от модели и конфигурации).

Однако вернемся к профилированию нагрузок по хранилищам в VMware vSphere. В одной из презентаций VMware есть замечательная картинка, отражающая численные характеристики производительности дисковых устройств в пересчете на шпиндель в зависимости от типа их организации в RAID-массивы:

Параметры в верхней части приведены для операций 100%-й последовательной записи для дисков на 15К оборотов. А в нижней части приведены параметры производительности для описанной выше "типичной" нагрузки, включая среднюю скорость чтения-записи, число операций ввода-вывода в секунду (IOPS) и среднюю задержку. Хорошая напоминалка, между прочим.

Теперь как анализировать нагрузку по вводу выводу. Для этого у VMware на сайте проекта VMware Labs есть специальная утилита I/O Analyzer, про которую мы уже писали вот тут. Она может многое из того, что потребуется для профилирования нагрузок по хранилищам.

Ну а дальше стандартные процедуры - балансировка нагрузки по путям, сторадж-процессорам (SP) и дисковым устройствам. Сигналом к изысканиям должен послужить счетчик Device Latency (DAVG) в esxtop, если его значение превышает 20-30 мс для виртуальной машины.

Вчера мы написали о новых возможностях Veeam Backup and Replication 6.1, которая вчера же стала доступна для загрузки. Новая версия продукта номер 1 имеет множество новых возможностей, и, помимо этого, включает бесплатное издание Veeam Backup Free Edition.

В таблице ниже приведены основные отличия коммерческой Veeam Backup and Replication и бесплатной Veeam Backup (обратите внимание, что в бесплатной версии слова Replication нет). Бесплатное издание построено на ядре знаменитой утилиты Veeam FastSCP, которой пользовались десятки тысяч администраторов для загрузки файлов на ESX / ESXi серверы. Теперь программисты Veeam привели ее в порядок, обновили механизмы работы через vSphere API, добавили некоторую функциональность от коммерческого Veeam B&R (например, VeeamZIP) и бесплатно отдают пользователям.

Посмотрим, что нам предлагают просто так:

Отметим, что вся функциональность Veeam Backup and Replication Standard полностью включена в издание Enterprise Edition, у которого значительно больше возможностей.

В итоге, в форме Veeam Backup Free Edition мы получили больше функций, чем в Veeam FastSCP, за что спасибо разработчикам. Важный момент: обновление с бесплатной версии Veeam Backup Free Edition до полноценного Veeam Backup and Replication происходит просто вводом лицензионного ключа, без необходимости переустановки продукта.

Бесплатный Veeam Backup Free можно скачать по этой ссылке: http://www.veeam.com/virtual-machine-backup-solution-free/download.html.

Коммерческий Veeam Backup and Replication можно скачать тут: http://www.veeam.com/vmware-esx-backup/download.html.

На сегодняшний день безопасность инфраструктур виртуализации является проблемой номер 1 для тех компаний, у которых проникновение технологии достигло значительного уровня (более 25%). Особенна эта проблема актуальна для организаций, государственных и частных, которые работают с персональными данными.

Поэтому еще раз обращаем ваше внимание на мероприятие, которое проводит 14 июня компания Код Безопасности - вебинар "Информационная безопасность и выполнение требований законодательства  при использовании в организации инфраструктуры, построенной на платформе  VMware".

Зарегистрироваться

На вебинаре менеджер по развитию продукта Александр Лысенко расскажет о программном продукте vGate - лидирующем на российском рынке решении для защиты систем управления виртуальных инфраструктур на платформе VMware.

vGate R2 позволяет обеспечить безопасность виртуальной среды в 2-х аспектах:

• Автоматически настроить серверы виртуализации VMware vSphere в соответствии с лучшими практиками и отраслевыми стандартами с помощью политик.
• Защитить инфраструктуру от несанкционированного доступа (НСД).

Актуальность последнего пункта подтверждается исследованием Кода Безопасности, где проблема НСД собственных сотрудников заняла второе место по насущности:

Продукт vGate R2 позволяет успешно справиться с проблемой НСД за счет разделения полномочий администраторов vSphere по доменам безопасности, а активностью самих админстраторов может следить сотрудник отдела ИБ:

Пробную версию продукта vGate R2 можно скачать бесплатно по этой ссылке.

На днях в блогах Microsoft было объявлено о выходе предрелизной версии новой опреационной системы Windows Server 2012 Release Candidate (RC). В прошлых записях мы уже писали о вышедшей 3 месяца назад бета-версии Windows Server 2012, а также о новых возможностях Hyper-V 3.0 (и тут), которые появились в обновленной версии серверной ОС.

Кроме того, на сайте Microsoft появился отличный документ "Features Comparison: Windows Server 2008 R2 Hyper-V and Windows Server 2012 Release Candidate Hyper-V", который рассказывает об отличиях нового гипервизора Hyper-V 3.0 от его предыдущего поколения:

Этот 23-страничный документ, состоящий из таблиц, где приводится сравнение функциональности с предыдущей версией платформы виртуализации, выглядит весьма внушительно.

С момента предыдущей бета-версии существенно улучшились максимально поддерживаемые конфигурации виртуальной среды:

Также отметим, что стали доступными для загрузки обновленная версия настольной ОС Windows 8 Release Preview, а также средства управления RSAT.

Любителям священных войн мы порекомендуем документ "Competitive Advantages of Windows Server 2012 Release Candidate Hyper-V over VMware vSphere 5.0", где размещена "красная тряпка" для Воинов Света VMware vSphere:

Документ - вообще огонь. Говорят даже, что Hyper-V вам заменит VMware View и будет классным VDI-решением:

Скачать Windows Server 2012 Release Candidate (RC) можно по этой ссылке.

Компания Veeam Software, по прошествии полугода с момента выпуска шестой версии решения номер 1 для резервного копирования виртуальных машин Veeam Backup and Replication, объявила о релизе обновленной версии решения - Veeam Backup and Replication 6.1. Несмотря на то, что версия продвинулась всего лишь на 0.1, как всегда компания Veeam Software нашла чем удивить многочисленных пользователей и, в очередной раз, показала свое технологическое превосходство над конкурентами (которые еще и обделались)...
Таги: Veeam, Backup, Update, VMware, vSphere, Microsoft, Hyper-V